Penurunan gradien

Algoritme penurunan gradien atau gradient descent adalah algoritme yang digunakan untuk mencari nilai minimum lokal yang dapat dihasilkan dari suatu fungsi parametrik. Teknik ini didasarkan pada fakta bahwa nilai gradien dari suatu fungsi pada titik tertentu menyatakan kemiringan lereng dari nilai tersebut terhadap titik di sekitarnya sehingga nilai minimum dapat diraih dengan mengurangi nilai titik tersebut dengan nilai gradien. Algoritme ini dapat dibalik untuk tujuan mencari nilai maksimum dengan cara menambahkan suatu nilai titik dengan gradien fungsinya pada titik tersebut. Algoritme ini sangat umum digunakan pada teknik Regresi maupun Pembelajaran mesin untuk mencari variabel pada fungsi galat sehingga suatu fungsi dapat memodelkan data dengan galat yang minimum